电商购物 Agent 的生成式奖励模型 E-GenRM
🧭 生成式奖励模型 · 购物 Agent ★ 深度解读
Taobao & Tmall Group of Alibaba · Technische Universität Wien
从真实购物行为回溯构造评价链，三阶段训练生成式奖励模型，在线提升淘宝购物 Agent 有效协助率与满意度
📌 工作参考价值（4 点）
- 用真实行为回溯构造评估轨迹：从购买结局反向切分 shopping task，将 120+ 行为信号翻译为 Agent 交互历史与候选响应对，能绕过「能力-轨迹反馈环」，持续产出覆盖长尾行为的 reward/eval 数据；适合电商 Agent 搭建数据飞轮。
- 评价链 + 三阶段训练可迁移：SFT 学动态加权 rubric 和证据支撑的 criterion-level 判断；RL 用 outcome reward + factual reward 给每个 criterion 部分信用，提供更密集训练信号；再用 teacher disagreement 和 utility margin 筛 hard negatives 提升个性化偏好敏感度。
- 主动证据检索：用 retrieval-need label 和 tool-use reward 对齐检索决策，只在上下文缺 decisive evidence 时调用工具；调用率从 95.84% 降到 22.12%，精度反而略升，适合线上成本敏感场景。
- 用 E-GenRM 后训练淘宝购物 Agent，14 天 A/B 有效协助率 +1.39pp、满意度 +2.33pp、P99 延迟 -17.88%，可直接作为生成式 RM 替代或校准 expert judge 的业务参考。
超越求解器裁决：用于自动形式化的生成式奖励模型
🧭 Autoformalization · 生成式验证
Case Western Reserve University · Amazon Web Services
将离线 Z3 等价 oracle 蒸馏为生成式连续等价评分，检测 VPU，AUROC 0.961，并带来 11.3 点下游提升
📌 工作参考价值（4 点）
- 把验证器从结构化硬判定升级为连续、参考无关的 reward model：在 query 改写、商品属性约束生成、Agent 工具调用结果校验等场景，训练一个生成式等价性打分器，能捕捉“执行成功但语义偏移”的失败样本，弥补规则/校验器只查语法和返回码的盲区。
- 用离线 oracle 蒸馏低成本验证器：电商/推荐里可用大模型、人工标注或仿真环境构造等价/非等价对，蒸馏到轻量 LM 作为 reward model，再用于线上样本过滤、beam search 重排或 RLHF-style 优化。
- 将连续验证分数用于 agentic test-time compute allocation：对候选生成结果按参考等价性评分动态分配采样/回溯预算，比固定采样或仅按 solver 成功分配更稳；可直接借鉴到多步商品推荐解释、购物 Agent 路径选择。
- 机制分析 trick：通过 decision-projected logit lens / sparse autoencoders 定位 LM 生成中的错误坐标，可用于诊断商品属性约束生成中“哪个 token 维度导致不可满足或不一致”，帮助后续提示或微调。
通过基于排名的奖励构造释放生成式奖励模型在LLM强化学习中的潜力
🧭 生成式奖励模型RL训练 · 排名奖励构造 ★ 深度解读
School of Computer Science and Engineering, Northeastern University, Shenyang · NiuTrans Research, Shenyang · Independent Researcher, Beijing · CAS Key Laboratory of Behavioral Science, Institute of Psychology, CAS · Kunming University of Science and Technology
将生成式奖励模型从标量评分转为利用其排名能力构造奖励信号，解决RL中比较优势与评分范式不匹配的问题
📌 工作参考价值（4 点）
- 生成式评估器用于策略优化：在电商/推荐场景中，若使用LLM作为评估器（如评价推荐理由、对比候选素材），可直接沿用RRC思路：不要求LLM打绝对分，而是让LLM对同一查询的多个候选进行两两比较，将胜出次数作为奖励，再用GRPO等RL算法优化生成策略。这比强求标量分数更稳定且能利用LLM的推理能力。
- 锚点引导减少推理开销：RRC-AGR用少量固定参考响应（锚点）替代全量两两比较，将查询复杂度从O(m²)降至O(m×n)。在线上系统延迟敏感时，可预生成锚点集（如历史高赞推荐理由），新样本只需与少量锚点比较即可获得有效奖励信号，极大降低推理成本。
- 投票增强鲁棒性：对于生成式评估，单次判断可能随机，多数投票（voting@k）能显著提升奖励质量。在涉及文案生成、排序合理性判断等主观任务时，通过多轮采样聚合偏好可降低噪声，且可控制推理预算。
- 避免评估与策略耦合：锚点由固定参考策略生成，而非当前演化中的策略，能保持比较基准稳定。在迭代优化生成式推荐模型时，建议使用冻结的基线模型生成参考样本作为锚点，防止奖励漂移。